Back Primer teorema de Shannon Catalan Theorem codio ffynhonnell Shannon Welsh Shannon's source coding theorem English Primer teorema de Shannon Spanish قضیه کدگذاری منبع شانون Persian Théorème du codage de source French シャノンの情報源符号化定理 Japanese Прва Шенонова теорема Macedonian Шуугиангүй кодчилох теорем Mongolian Podstawowe twierdzenie Shannona Polish
Nella teoria dell'informazione, il primo teorema di Shannon (o teorema della codifica di sorgente), stabilisce dei limiti alla massima compressione possibile di un insieme di dati e definisce il significato operativo dell'entropia.
Il teorema stabilisce che, per una serie di variabili aleatorie indipendenti ed identicamente distribuite (i.i.d.) di lunghezza che tende ad infinito, non è possibile comprimere i dati in un messaggio più corto dell'entropia totale senza perdita di informazione. Al contrario, compressioni arbitrariamente vicine al valore di entropia sono possibili, con probabilità di perdita di informazione piccola a piacere.
Il teorema della codifica di sorgente per simboli di codice, stabilisce un limite inferiore e superiore alla minima lunghezza attesa di una serie di parole di codice, in funzione dell'entropia della parola in ingresso (vista come una variabile aleatoria) e della dimensione dell'alfabeto in esame.